HyperParameter优化是机器学习中的一种无处不在的挑战，训练型模型的性能在其有效选择时依赖于大致依赖。虽然为此目的存在丰富的工具，但目前在差分隐私（DP）的约束下，目前没有实际的超参数选择方法。我们研究鉴于差异私立机器学习的诚实的封锁，其中，在整体隐私预算中占了超代调优的过程。为此，我们）显示标准的组合工具在许多设置中优于更高级的技术，ii）经验和理论上展示了学习率和剪辑规范率HyperParameters，III之间的内在联系，表明DPADAM等自适应优化器享有显着的优势在诚实的HyperParameter调整过程中，IV）借鉴了DP设置中ADAM的新颖限制行为，以设计新的更高效的优化器。
translated by 谷歌翻译